package com.shujia.spark.core

import org.apache.spark.{SparkConf, SparkContext}

object Demo5FlatMap {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("Demo4Filter")

    val sc = new SparkContext(conf)

    val linesRDD = sc.textFile("spark/data/words.txt")


    /**
      * flatmap  将一行数据转换成多行数据  一对多
      *
      * 函数需要返回一个数组或者集合或者序列
      *
      */

    val wordsRDD = linesRDD.flatMap(line => {
      val arr: Array[String] = line.split(",")
      //返回一个序列  最后再构建新的rdd的时候会将序列中的数据拆分出来作为新的一行
      arr.toList
    })

    wordsRDD.foreach(println)


  }

}
